自注意力機制 (Self-attention) 之一 - iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

2022 iThome 鐵人賽

DAY 12

0

AI & Data

上課了！李宏毅老師機器學習 (2021)系列第 12 篇

自注意力機制 (Self-attention) 之一

14th鐵人賽

2022-09-27 23:32:11

467 瀏覽

分享至

剛剛竟然因為按錯按鈕以致文章全沒惹(我傻眼)...

如果輸入一串又一串的向量，也就是向量的集合，或是說，輸入的向量大小事會改變的。例如說，我們輸入一個句子，每個句子的字彙數量會不相同。直覺的做法就是將每個字用 one-hot encoding 來轉成一個向量。但這樣做要先統計所有的文字才能做編碼。所以可以使用 word embedding 的方法來做才會比較適合。

輸出的類型可以分為三類。

每一個向量對到一個輸出。例如一個句子，句子中的每個字都對到一個詞性。或是一段語音，每段發音都對會到一個字。或是一個圖，每個節點(人)都會對到一個特性。
所有的向量集對到一個輸出。例如一個句子是正面還是負面。或是從一段語音判斷是誰在說話，或是一個分子是否有毒性等等。
輸出的大小事有模型自己決定，向市文字翻譯、語音翻譯都是。

卷積神經網路 (Convolutional Neural Networks, CNN)

元學習 Meta Learning 之一元學習跟機器學習一樣也是三個步驟

系列文

上課了！李宏毅老師機器學習 (2021) 共 16 篇

目錄

RSS系列文訂閱系列文

0 人訂閱

完整目錄

直播研討會

{{ item.subject }}

{{ item.channelVendor }} {{ item.webinarstarted }} |

{{ formatDate(item.duration) }}

直播中

尚未有邦友留言

立即登入留言

參賽組數

1064 組

團體組數

40 組

累計文章數

22195 篇

完賽人數

600 人

15th鐵人賽 16th鐵人賽 13th鐵人賽 14th鐵人賽 12th鐵人賽 11th鐵人賽鐵人賽 2019鐵人賽 javascript 2018鐵人賽 python 2017鐵人賽 windows php c# windows server linux css react vue.js

IT邦幫忙